Si l'extension Initialization cells est activée, vous devez "Faire Confiance" (Trust) le Notebook.
Ensuite vous devez attendre l'exécution de ses cellules (de code ;)). (Il y aura 1 (2) alerte(s) si l'initialisation c'est bien passée, sinon soit l'extension ne marche pas, soit bug dans le code )
Le mot "Virus" est un mot venant du latin et qui signifie : poison, toxine
Au 19e siècle, une maladie touche les feuilles de tabac : la mosaïque du tabac
En 1892, Dimitri Iwanowski (un biologiste russe) tente de filtrer, de cette maladie, la sève de feuille de tabac au moyen de la bougie de Chamberland.
Les bactéries sont filtrés, mais un micro-organisme ( un agent infectieux) ne l'est pas.
Il fera l'hypothèse que ce micro-organisme était une toute petite bacterie, ou une toxine.
Plus tard vers les années 1930, avec l'arrivé de microscope électronique, les virus pourront enfin isolés (rougeole, la rubéole, la varicelle, et plus tard le sida).
Maladie de la Mosaïque du Tabac
Bougie de Chamberland pour le filtrage
</span>
En 1953, André LWOFF énonce les trois caractères fondamentaux d'un virus :
« Agent responsable d'une maladie infectieuse, parasite, de nature particulaire et de taille comprise entre 0,01 et 0,3 micromètre "
"Ils ne peuvent se reproduire qu’au sein de cellules vivantes, ne possédant aucun système d’énergie, ils détournent la machinerie cellulaire à leur profit pour se répliquer et assurer leur pérennité."
"Ils constituent en quelque sorte des structures extrêmement simples dont l’ensemble des éléments protège quelques petits bouts de code génétique ayant pour objectifs de s’infiltrer dans une cellule pour la parasiter, puis la détruire."
"En définitive, à l’aide de quelques gènes, les virus peuvent altérer et modifier les programmes de fonctions intracellulaires à leur profit, avec pour objectif final de transformer l’organisme infecté en agent contaminant, capable de propager l’infection et d’assurer la survie du virus."
Les virus sont des organismes composés d'une enveloppe de protéines laquelle renferme de l'ADN ou de l'ARN , ils n'ont pas de métabolisme et ne peuvent pas se reproduire. Ils doivent pour cela pénétrer nos cellules, en prendre le contrôle et en détourner le métabolisme à leur profit. C'est ainsi que les virus se répliquent et disséminent dans tout notre corps. Pour passer d'une personne à l'autre, les virus empruntent différentes voies. Certains virus utilisent la voie respiratoire, d'autres la voie digestive, transcutanée ou encore sexuelle. Les virus peuvent infecter tous les organismes, humains, animaux, végétaux. Ils peuvent aussi infecter les bactéries.
Un humain infecté parle à un autre humain, lorsqu'il va parler des goutelettes de salives vont arrivé sur l'autre humail
Un fois dans le corps, le virus va tenter de rentrer dans un cellule à l'aide de ses spicules quie se lie à la membrane de celle ci
Une fois dans la cellule le génome du virus s'insère dans l'adn de la cellule.
Ensuite ce génome est lu par la cellule et est repliqué, ce qui fabrique d'autre virus qui vont ensuite sortir de la cellule pour en infecter d'autres.
La cellule infecté va ensuite fabriquer d'autres virus jusqu'à sa mort
Résumé en une image
Pour combattre les virus, il existe plusieurs possibilités. On peut limiter la transmission en réduisant les contacts ou donner des médicaments qui tentent de bloquer l'entrée du virus dans les cellules ou sa multiplication. Le Vaccin
Les Coronavirus (CoV) forment une immense famille de virus possédant un génome à ARN extrêmement long (plusieurs milliers de nucléotides ). Ils sont entourés d’une capsule de protéines en forme de couronne qui leur vaut leur nom.
Le SRAS-CoV est le premier coronavirus qui a entrainé une maladie grave chez l’Homme. Il a sévi sous forme épidémique entre novembre 2002 et juillet 2003. Plus de 8 000 cas ont été recensés dans 30 pays (dont près de 20% chez des soignants) et 774 personnes sont décédées (soit près de 10% de mortalité).
L’épidémie est partie de quelques cas dans la province du Guangdong, en Chine du Sud-Est, suite à la consommation de viande de civette infectée.
Une épidémie correspond à l'apparition intermittente, mais rapide, d'une maladie infectieuse et contagieuse.
Elle touche un groupe de population de façon plus ou moins importante, dans une région donnée.
Ex : grippe hivernale, ebola
Au contraire de l'épidémie qui apparaît de manière saisonnière, par pics, l'endémie persiste dans une même région de manière habituelle.
Ex : paludisme, fièvre jaune
Comme pour l'épidémie, la pandémie apparaît brutalement et en plus, elle sévit à l'échelle d'une zone géographique très étendue, à l'occasion de l'émergence d'un nouveau virus.
Les zoonoses sont des maladies ou infections qui se transmettent des animaux vertébrés à l'homme, et vice versa. Les pathogènes en cause peuvent être des bactéries, des virus ou des parasites. La transmission de ces maladies se fait soit directement, lors d'un contact entre un animal et un être humain, soit indirectement par voie alimentaire ou par l’intermédiaire d'un vecteur (insecte, arachnides…). D'après l'Organisation mondiale de la santé animale, 60% des maladies infectieuses humaines sont zoonotiques.
Maladie virale, bactérienne ou parasitaire animale, capable d'infecter l'Homme suite à une mutation.
Comtaminé :
/!\ Tous les comtaminé ne sont pas recensensé
/!\ Ils ne sont pas comptabilisé de façon homogène dans tout les pays.
Depisté :
/!\ Tous les comtaminé ne sont pas recensensé
Gueri :
/!\ sorties de l'hôpital
Déces :
/!\ Ils ne sont pas comptabilisé de façon homogène dans tout les pays
Hospitalisé :
/!\ A l'Hopital ?
Réanimation :
/!\ En réanimation
"Ces trois expressions désignent des soins destinés à prévenir les défaillances organiques potentielles et à traiter les défaillances avérées."
La réanimation (soins critique) est organisée en trois paliers :
Unité de Soins intensif (USI) :
Structure médiane entre le service de réanimation et l’unité de soins continus (USC).
Elle prend en charge une défaillance unique sur une durée limitée
L'intermédiaire entre la réanimation et les services de soins généraux hospitaliers.
Unité de Soins (Surveillance) Continus (USC) :
Elle prend en charge les patients dont l'état, au sortir d'une ou plusieurs défaillances vitales est trop sévère ou instable pour permettre un retour dans une unité d'hospitalisation classique
Service de réanimation (réa) :
Il prend en charge des défaillances multiples sur une durée prolongée.
Timeline qui va être expliqué dans cette section
Les barres oranges représentes les cas diagnostiqué, et les grises les cas réels.
Hubei
Le marché de Huanan est un marché de fruits de mer et d'autres animaux vivants.
Le marché, situé à quelques pâtés de maisons de la gare de Hankou, 3e gare ferroviaire la plus importante de Wuhan (+10 000), occupe plus de 50 000 m2 et abrite plus de 1 000 commerçants. C'est le plus grand marché de gros de fruits de mer à Wuhan et en Chine centrale
On y vend notamment:
*J'ai mis la civette en gras pour rappeller que la sars-cov 1 avait eu comme hôte intermédiaire la civette.
Pendant le mois de Novembre-Décembre, plusieurs cas de pneumonies inabituels ont survenues qui ne réagissait pas aux traitements habituel.
Les patients avaient comme point commun le marché de Huanan, ce qui a conduit a sa fermeture le 1er janvier.
Au même moment une alerte a été OMS notifié par le gouvernement chinois (“The disease is preventable and controllable...”).
D'apres le graphique, le nombre de cas réel était au 1er janvier de ~100.
On a découvert ensuite, que l'un des premiers patient en chine présentant le coronavirus, est arrivé le 17 Novembre.
En simulant l'épidémie, on arrive aussi à ~250 cas au 1er janvier. (donc 44 jours plus tard) (R0=2.5)
En ordre de grandeur des centaines.
Le 9 janvier 2020, les autorités sanitaires chinoises et l’Organisation mondiale de la santé (OMS) annoncent la découverte d’un nouveau coronavirus, appelé 2019-nCoV, et présenté comme l’agent responsable de ces pneumonies.
Les autorités chinoises partagent, dès le week-end du 11-12 janvier, la séquence complète du génome du coronavirus qu’ils ont détecté dans des échantillons prélevés sur leurs premiers patients.
C'est le 23 Janvier que Wuhan est confiné et le 24 que 15 autres ville du hubein qui le sont.
Le 24 les cas diagnostiqués sont au nombre de ~600, alors qu'en réalité, il y a ~10 000.
En simulant on arrive au 24 Janvier (67 jours après le 1er cas) : ~10 000. (avec un R0 de 2.5)
Cas de coronavarirus dans le pays au 24 Janvier.
On voit qu'il y a beaucoup de cas à Wuhan et plus généralement dans le Hubei, et quelque cas à Beijing, Shenzen, Shanghai.
En ordre de grandeur des dizaines de milliers
Au 4 février d'aprés les cas diagnostiqué, il y avait ~20 000 cas alors qu'en cas réel il y avait ~40 000 cas
En simulant: ~40 000 cas aussi (+ 80 jours) (R0=2.5)
SI DANS LE DOCKER -> les cells d'initialisation ont été exécutées, si pas éxécuté appuyer sur le bouton calculatrice
#!pip install moment git+http://github.com/lucasiscovici/studyProject.git dill
from IPython.display import clear_output
from IPython import display
import logging
import collections
import os
import sys
import math
from dfply import make_symbolic
from datetime import datetime, date
import moment as moment_
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import matplotlib as mpl
from studyProject.utils import *
from studyProject.helpers import *
from studyProject import Datas, StudyProject, StudyClassif
from studyProject.study.studyClassif import DatasClassif
from studyProject.utils.speedMLNewMethods import Speedml3
from studyPipe.studyPipe import convert_pipe, Pipe, Pipe__
# Graph Library
import plotly_study.graph_objs as go2
import plotly.graph_objs as go
import cufflinks_study as cf
import plotly.express as px
import plotly.offline as poff
#import dash
#from dash.dependencies import Input, Output
#import dash_html_components as html
#import dash_core_components as dcc
#import werkzeug,logging
#logging.getLogger('werkzeug').setLevel(logging.ERROR)
config_completer()
cf.go_offline()
import rpy2
from rpy2.robjects.packages import importr
from rpy2.robjects.vectors import StrVector
_=utils.chooseCRANmirror(ind=25)
from rpy2.robjects import pandas2ri
pandas2ri.activate()
import rpy2.ipython.html
rpy2.ipython.html.init_printing()
%load_ext rpy2.ipython
#Execute this codeCell to Execute all Functions
display_html("""<script>
$('[data-name="Aucun(e)"]').on("click",Jupyter.CellToolbar.global_hide)
</script>""")
# switch operator
# switch(choice: Dictionary, defaultValue: Any)
#
# EX: switch( {"foo": 10, "bar": 100 }, 0)
def switch(switcher,default=""):
return lambda argument: switcher.get(argument, default)
class _hideLog:
def __enter__(self):
self.curr=logging.getLogger().level
logging.getLogger().setLevel(logging.CRITICAL)
return self
def __exit__(self,*args,**xargs):
logging.getLogger().setLevel(self.curr)
hideLog=_hideLog()
def colorFader(c1,c2,mix=0): #fade (linear interpolate) from color c1 (at mix=0) to c2 (mix=1)
c1=np.array(mpl.colors.to_rgb(c1))
c2=np.array(mpl.colors.to_rgb(c2))
return mpl.colors.to_hex((1-mix)*c1 + mix*c2)
def gradientFromTwoCols(c1,c2,nb=3):
return [colorFader(c1,c2,i/nb) for i in range(nb)]
Confirmed & Deaths
# get world data about confirmed and deaths
def getData(force=False,
silent=False):
def _getDataByValue(url=None,value=None,force=False,silent=False):
today = date.today()
fname="data/covid_19_data_{}_times_{}.csv".format(value, today.strftime("%Y_%m_%d"))
if silent: return os.path.isfile(fname)
if not os.path.isfile(fname) or force:
print(f"load data {value}...")
os.system(f"curl {url} > data/_covid_19_data_times2.csv")
dataImported=pd.read_csv("data/_covid_19_data_times2.csv")
dataColumns=(dataImported >> df.select(~df.columns_to("Long",inclusive=True))).columns
dataWide=dataImported >> df.gather('Date', value, dataColumns)
dataWide.columns=dataWide.columns.map(lambda a:a.replace("/","_"))
dataWide.to_csv(fname,index=False)
else:
dataWide=pd.read_csv(fname)
return dataWide
if silent:
return _getDataByValue(value="Deaths",silent=True)
(deaths, confirmed)= [
_getDataByValue("https://raw.githubusercontent.com/CSSEGISandData/COVID-19/master/csse_covid_19_data/csse_covid_19_time_series/time_series_covid19_deaths_global.csv",
"Deaths",
force),
_getDataByValue("https://raw.githubusercontent.com/CSSEGISandData/COVID-19/master/csse_covid_19_data/csse_covid_19_time_series/time_series_covid19_confirmed_global.csv",
"Confirmed",
force)
]
allDataCovid=deaths >> df.inner_join(confirmed,
by=["Province_State",
"Country_Region",
"Lat",
"Long",
"Date"])
if not (deaths.shape[0] == confirmed.shape[0] and confirmed.shape[0] == allDataCovid.shape[0]):
print("ERROR: /!\ pb de join",deaths,confirmed,allDataCovid)
return None
return allDataCovid
# NOT NEEDED NOW
# get French Data about confirmed and deaths
def getDataFr(force=False,
silent=False):
return True
today = date.today()
fname="data/chiffres-cles_{}.csv".format(today.strftime("%Y_%m_%d"))
if silent:
return os.path.isfile(fname)
if not os.path.isfile(fname) or force:
print("load data fr...")
dirTmp=TMP_DIR()
os.system("git clone https://github.com/opencovid19-fr/data.git "+dirTmp.get())
os.system("cp -r {dirTmp.i} /sante-publique-france covidD/")
dirTmp.delete()
os.system("cd covidD && node build")
frData = pd.read_csv("covidD/dist/chiffres-cles.csv")
frData=frData >> df.filter_by(X.granularite=="pays") >> df.select("date",df.columns_between(X.cas_confirmes,X.gueris))
frData.to_csv(fname,index=False)
else:
frData=pd.read_csv(fname)
return frData
Tests in World with Date
#get data for covid 19 worldwide
def getDateTests(fname="./data/testsWorld.csv",force=False,silent=False):
if silent:
return os.path.isfile(fname)
if force or not os.path.isfile(fname):
testsPer100000=(
pd.read_csv("data/covid19-tests-per-million-people.csv").dropna()
.mutate_(dict_({__.columns[-1]:__.iloc[:,-1]/10.}))
.renameCols({-1:"Total Covid19 Test per 100,000"})
)
testsWorld=pd.read_csv("data/testsWorld.csv").mutate(testsPer100000=X.testsPer10000*10)
globalTestsWold100000=(
testsPer100000
.mutate(Date=X.Date.apply(pd.to_datetime))
.renameCols({-1:"testsPer100000"},Entity="Country")
.concatWithRows(testsWorld
.mutate(Date=X.Date.apply(pd.to_datetime)))
.dropna(axis=1)
.sort_values(["Country","Date"])
.groupby(["Country"])
.last()
.reset_index()
)
globalTestsWold100000.to_csv(fname,index=False)
else:
globalTestsWold100000=pd.read_csv(fname)
return globalTestsWold100000
# get population by country with population by age
def getDataPopu(fname="./data/popu.csv", force=False, silent=False):
if silent:
return os.path.isfile(fname)
if force or not os.path.isfile(fname):
popu=(
pd.read_csv("./data/WPP2019_POP_F15_1_ANNUAL_POPULATION_BY_AGE_BOTH_SEXES/ESTIMATES-Tableau 1.csv",
";",
skiprows=range(16))
.reset_index(drop=T)
) >> df.drop(range(2))
# select right columns
popuMonde=(popu
>> df.filter_by(X.Type=="Country/Area",
X.iloc[:,5]==2020)
>> df.select(0,df.columns_from(6))
>> df.rename(pays=0)) | __.reset_index(drop=True)
# group in tranche A (0-14), B (15-44), C (45-64), D (65-74), E (75-+)
popuMonde["Code tranches d'age_A"]=popuMonde.loc[:,['0-4', '5-9', '10-14']].transform(lambda a:a.str.replace(" ","").astype(int)).sum(axis=1)
popuMonde["Code tranches d'age_B"]=popuMonde.loc[:,['15-19','20-24','25-29','30-34','35-39','40-44']].transform(lambda a:a.str.replace(" ","").astype(int)).sum(axis=1)
popuMonde["Code tranches d'age_C"]=popuMonde.loc[:,['45-49','50-54','55-59','60-64']].transform(lambda a:a.str.replace(" ","").astype(int)).sum(axis=1)
popuMonde["Code tranches d'age_D"]=popuMonde.loc[:,['65-69','70-74']].transform(lambda a:a.str.replace(" ","").astype(int)).sum(axis=1)
popuMonde["Code tranches d'age_E"]=popuMonde.loc[:,['75-79','80-84','85-89','90-94','95-99','100+']].transform(lambda a:a.str.replace(" ","").astype(int)).sum(axis=1)
popuMonde=popuMonde.drop(['0-4', '5-9', '10-14'],axis=1)
popuMonde=popuMonde.drop(['15-19','20-24','25-29','30-34','35-39','40-44'],axis=1)
popuMonde=popuMonde.drop(['45-49','50-54','55-59','60-64'],axis=1)
popuMonde=popuMonde.drop(['65-69','70-74'],axis=1)
popuMonde=popuMonde.drop(['75-79','80-84','85-89','90-94','95-99','100+'],axis=1)
# long -> wide
popuMondeTranches=(
(popuMonde >> df.mutate( popu = X.iloc[:,1:].sum(axis=1) ) >> df.gather("tranches_age","value", df.starts_with("Code"))) >>
df.mutate(tranches_age=X.tranches_age.str.replace("Code tranches d'age_",""))
)
popuMondeTranches.to_csv(fname,index=False)
else:
popuMondeTranches=pd.read_csv(fname)
return popuMondeTranches
#get Median Age by Country
def getDataMedianAge(fname="./data/medianAgeWorld.csv",force=False,silent=False):
if silent:
return os.path.isfile(fname)
if force or not os.path.isfile(fname):
medianAge=(pd.read_csv("data/median-age.csv").renameCols({-1:"medianAge","Entity":"Country"})
.set_index(["Country","Year"]).loc(axis=0)[:,2020]
.iloc[:,[-1]]
.reset_index())
medianAge.to_csv(fname,index=False)
else:
medianAge=pd.read_csv(fname)
return medianAge
#get taux d'urbanisation par pays (% du nb de personnes dans les / le reste )
def getDataUrba(fname="./data/tauxUrbaWorld.csv", force=False, silent=False):
if silent:
return os.path.isfile(fname)
if force or not os.path.isfile(fname):
tauxUrba=pd.read_csv("data/tauxUrba.csv",
sep=";",
skiprows=range(4)).iloc[:,[0,-3]]
tauxUrba.to_csv(fname,index=False)
else:
tauxUrba=pd.read_csv(fname)
return tauxUrba
# get la densité de population (par km^2)
def getDataPopuDensity(fname="./data/popDensityWorld.csv", force=False, silent=False):
if silent:
return os.path.isfile(fname)
if force or not os.path.isfile(fname):
popdensity=pd.read_csv("data/pop_density.csv",
sep=";",
skiprows=range(4)).iloc[:,[0,-3]]
popdensity.to_csv(fname,index=False)
else:
popdensity=pd.read_csv(fname)
return popdensity
# get life expectancy
def getDataLife(fname="./data/life_expectancy_world.csv",force=False,silent=False):
if silent:
return os.path.isfile(fname)
if force or not os.path.isfile(fname):
lifeExp=pd.read_csv("./data/life_expectancy.csv",
sep=";")
lifeExpBothSexes=((lifeExp.set_index(lifeExp
.columns[:2]
.tolist()
) >>
df.select( ~df.contains(".") )) |__
.drop("Country") |__
.loc[(slice(None),"2016"),:] |__
.reset_index(1,drop=T) |__
.rename_axis("Country")
).reset_index().set_index("Country").astype("float").reset_index()
lifeExpBothSexes.to_csv(fname,index=False)
else:
lifeExpBothSexes=pd.read_csv(fname)
return lifeExpBothSexes
def getDataDoctors(fname="./data/doctorsWorld.csv", force=False, silent=False):
if silent:
return os.path.isfile(fname)
if force or not os.path.isfile(fname):
medicalWorld=(pd.read_csv("./data/medicalWorld.csv",
index_col=[0,1])
.iloc[:,:1]
.drop(( 'Country', 'Year'))
.rename_axis(( 'Country', 'Year'))
.reset_index("Year")
.groupby("Country")
.first()
.reset_index()
.dropna() |__
.astype((__.columns,[np.object,np.int,np.float]) |_funs_|
zip |_fun_|
dict)
.rename_cols(__.columns[:2].tolist()+["MedicalDoctorsPer100000"])
.mutate(MedicalDoctorsPer100000=X.MedicalDoctorsPer100000*10)
)
medicalWorld.to_csv(fname,index=False)
else:
medicalWorld=pd.read_csv(fname)
return medicalWorld
# get hospital beds, acute beds, icu beds (/100000)
def getDataBeds(fname="./data/bedsWorld.csv",force=False,silent=False):
if silent:
return os.path.isfile(fname)
if force or not os.path.isfile(fname):
hospitals=(pd.read_csv("data/Hospital_beds_100000.csv")
.groupby("Country").first().reset_index()
)
icuBeds=(pd.read_csv("data/icus.csv",sep=";",usecols=range(3))
.groupby("Country").first().reset_index().set_axis(["Country","acuteBeds/100000","icuBeds/100000"],axis=1)
)
icuBedsAsia=(pd.read_csv("data/bedsAsia.csv",sep=";",usecols=range(5))
.groupby("Country").first().reset_index()
)
icuBedAsia2=(
icuBedsAsia
.mutate(criticalCareBedsPer100000Verif=(X.criticalCareBeds/X.popu*100000).round(1))
.mutate(acuteHospitalBed=(X.criticalCareBeds/X.criticalCareBedsAsPercOfAcuteHospitalBeds*100).round(0))
.mutate(acuteHospitalBedPer100000=(X.acuteHospitalBed/X.popu*100000).round(1))
).iloc[:,[0,7,3]].set_axis(['Country', 'acuteBeds/100000', 'icuBeds/100000'],axis=1)
acuteAndIcuBeds=pd.concat([icuBeds,icuBedAsia2],ignore_index=T)
hostipalsBeds=hospitals.drop(["Year"],axis=1)
hostipalsBeds.Country=(hospitals.Country
.replace("Brunei Darussalam","Brunei")
.replace("Czechia","Czech Republic")
.replace("Democratic People's Republic of Korea","North Korea")
.replace("Democratic Republic of the Congo","Congo")
.replace("Iran (Islamic Republic of)","Iran")
.replace("Lao People's Democratic Republic","Laos")
.replace("Republic of Korea","South Korea")
.replace("United Kingdom of Great Britain and Northern Ireland","UK")
.replace("United States of America","USA")
)
acuteAndIcuBeds.Country = (acuteAndIcuBeds.Country
.replace("The Netherlands","Netherlands")
)
beds=hostipalsBeds.merge(acuteAndIcuBeds,how="outer").sort_values("Country")
beds.to_csv(fname,index=F)
else:
beds=pd.read_csv(fname)
return beds
def getDataPoliticalRegime(fname="./data/politicalRegimeWorld.csv",force=False,silent=False):
if silent:
return os.path.isfile(fname)
if force or not os.path.isfile(fname):
politicalRegime=pd.read_csv("./data/political-regime.csv")
politicalRegime=(politicalRegime.groupby("Entity").last().reset_index()
.renameCols({-1:"Political Regime"})
.filter_by(X["Political Regime"]!=-20)
.mutate(PoliticalRegimeCat=X["Political Regime"].cut([-11,-6,0,5,10],[
"Autocracy",
"Closed Anocracy",
"Open Anocracy",
"Democracy"])).iloc[:,[0,2,3,4]])
politicalRegime.to_csv(fname,index=False)
else:
politicalRegime=pd.read_csv(fname)
return politicalRegime
# fonction like moment js
# use the python library moment
#
# moment() -> Actual date
# moment(2020,3,22) -> get the 22/03/20 Date
# moment(1585602607) -> get the date with timestamp
# moment("today") or moment("22/03/20") -> get the date from string
# moment("03/22/20","%m/%d/%y") -> get the date from string and format
# moment(datetime.date(2019, 4, 13)) -> get the date from datetime object
def moment(*args,utc=False):
if len(args)==0:
return moment_.now() if not utc else moment_.utcnow()
if len(args)==3 and type(args[0]) is int:
return moment_.date(*args) if not utc else moment_.utc(*args)
if len(args)==1 and type(args[0]) in [int,float]:
return moment_.unix(args[0],utc=utc)
if len(args)==1 and type(args[0]) is str:
return moment_.date(args[0]) if not utc else moment_.utc(args[0])
if len(args)==2 and type(args[0]) is str and type(args[1]) is str:
return moment_.date(args[0],args[1]) if not utc else moment_.utc(args[0],args[1])
if len(args)==1 and type(args[0]) is datetime:
return moment_.date(args[0]) if not utc else moment_.utc(args[0])
return moment_(*args,utc=utc)
# add the method startOf from moment js
#
# .startOf("year") -> get the date startOf year
def startOf (this_,units):
#units = normalizeUnits(units);
# the following switch intentionally omits break keywords
# to utilize falling through the cases.
this=this_.copy()
switch ({
'year':lambda: this.replace(months=1,days=1,hours=0,minutes=0,seconds=0,microseconds=0), #date(1).hours(0).minutes(0).seconds(0).milliseconds(0);
'quarter':lambda:this.replace(days=1,hours=0,minutes=0,seconds=0,microseconds=0),#hours(0).minutes(0).seconds(0).milliseconds(0);
'month':lambda:this.replace(days=1,minutes=0,seconds=0,microseconds=0),
'week':lambda:this.replace(hours=0,minutes=0,seconds=0,microseconds=0),
'isoWeek':lambda:this.replace(hours=0,minutes=0,seconds=0,microseconds=0),
'day':lambda:this.replace(hours=0,minutes=0,seconds=0,microseconds=0),
'date':lambda:this.replace(hours=0,minutes=0,seconds=0,microseconds=0),
'hour':lambda:this.replace(minutes=0,seconds=0,microseconds=0),
'minute':lambda:this.replace(seconds=0,microseconds=0),
'second':lambda:this.replace(microseconds=0)
})(units)()
# weeks are a special case
if (units == 'week'):
this.replace(weekday=0)
if (units == 'isoWeek'):
raise NotImplementedError
# quarters are also special
if (units == 'quarter'):
this.replace(months=math.floor(this.month/3)*3)
return this;
moment_.Moment.startOf=startOf
# add the method endOf from moment js
#
# .endOf("year") -> get the date endOf year
def endOf (thisd,units=None):
this=thisd.copy()
if (units is None or units == 'millisecond'):
return this
# 'date' is an alias for 'day', so it should be considered as such.
if (units == 'date') :
units = 'day'
return this.startOf(units).add(**{('week' if units == 'isoWeek' else units):1}).subtract(1, 'ms');
moment_.Moment.endOf=endOf
pd.options.display.max_rows = 999
# old groupbyDate
pd.DataFrame.groupbyDate = (lambda self,
freq,
key="date",
*args,
**xargs: self.groupby(pd.Grouper(*args,
key=key,
req=freq,
**xargs)))
# pandas groupByDate
# groupByDate2( DataFrame, String, Int, String, String)
# dateCol = Column_Where_The_Date_is
# nbJ = Nombre_de_Jours
# closed = Début des groupes à droite ou à gauche ("right, "left")
# label = Label des groupes avec les dates de gauche ("left") ou les dates de la "droite"
def groupByDate2(df,
dateCol,
nbJ=7,
closed="right",
label="left",
*args,
**xargs):
dfClosed=df[dateCol][::-1] if closed=="right" else df[dateCol] #on part du prinpie que c triée par date croissance, si right-> on trié par date décroissante
dateActuelle= dfClosed.iloc[0] #premiere date, soit la plus basse (closed=left), soit la plus grande (closed=right)
dansLeGroupe=True #indique quand on doit ouvrir/fermer un group (le groupe courant)
groups={} # dico indiquant pour chaque index du dataframe, son groupe
indiceDatesGroups=0 # indice qui s'incremente à chaque nouveau groupe créé
datesGroups={} # dico contenant pour chaque groupe la date a affiché (en fonction de closed et label)
dateDebutFinGroup=dateActuelle # date a l'ouverture du groupe
dateFinDebutGroup=dateActuelle # date a la fermeture du groupe
for indexCurr,dateCurr in dfClosed.items():
dateDiff=((dateCurr - dateDebutFinGroup).days)*(-1 if closed=="right" else 1) # difference entre la date courante et la date du début de groupe (si closed "left" c'est positif sinon c'est négatif d'ou la multiplication par -1)
if dateDiff >= nbJ: # si le nb de jours est dépassé le groupe prescendant est plein et on créé un autre groupe
dansLeGroupe=False
if not dansLeGroupe: # si le groupe est plein
datesGroups[indiceDatesGroups]=(dateFinDebutGroup if label=="left" else dateDebutFinGroup) if closed=="right" else (dateDebutFinGroup if label=="left" else dateFinDebutGroup) # on trouve la date a afficher en fonctionde closed et label
indiceDatesGroups+=1 # on incremente l'indice de groupe
dateDebutFinGroup=dateCurr # on change la date de debut du groupe
dansLeGroupe=True
if dansLeGroupe: # si le groupe n'est pas plein on rajoute l'element courant a ce groupe
dateFinDebutGroup=dateCurr # on change la date de fin de groupe avec celle actuelle
groups[indexCurr]=indiceDatesGroups
datesGroups[indiceDatesGroups]=(dateFinDebutGroup if label=="left" else dateDebutFinGroup) if closed=="right" else (dateDebutFinGroup if label=="left" else dateFinDebutGroup)
datesGrouped={ i:datesGroups[j] for i,j in groups.items()} # pour chaque groupe on lui affili sa date
return df.groupby(pd.Series(datesGrouped,name=dateCol)) # on crée le groupby a partir des groupes créés
pd.DataFrame.groupByDate=groupByDate2
# agg method qui accepte les parametres avec clé valeur
pd.core.groupby.generic.DataFrameGroupBy.aggKV=lambda self,**args: self.agg(args)
#selectionne pour chaque valeur de la serie le maximum entre nb et cette valeur (par ex: pas de valeur < 0 qd nb=0)
pd.Series.mini=lambda self,nb=0:self.apply(lambda g:np.max([g,nb]))
# add method mutate, filter_by from dfply to pandas dataframe
pd.DataFrame.mutate=lambda self, **xargs : self >> df.mutate(**xargs)
pd.DataFrame.filter_by=lambda self,*args, **kwargs: self >> df.filter_by(*args, **kwargs)
findColNameInPandasDf=lambda df,n: df.columns[n if n>=0 else len(df.columns)+n]
#Rename cols in df easily, with indice or name
pd.DataFrame.renameCols=lambda self,dico={},**xargs:self.rename(columns={findColNameInPandasDf(self,k) if type(k) is int else k:v for k,v in {**dico,**xargs}.items()})
#cut easily
# set bins and labels OR dico
# dico k=labels, v=bins
def cutSeries(self,bins=None,labels=None,dico=None):
if dico is not None:
bins=list(dico.values())
labels=list(dico.keys())
return pd.cut(self,bins=bins,labels=labels)
pd.Series.cut=cutSeries
# easily concat dataframes
pd.DataFrame.concatWithRows=lambda self,df2,ignore_index=True:pd.concat([self,df2],axis=0,ignore_index=ignore_index)
# permet d'utiliser une fonction directement dans le pipe
# addToPipe(lambda a:a**2)
# addToPipe(np.max)
def addToPipe(a, convert=False):
import functools
pipedFn=Pipe(lambda x: a,special=True) if not convert else convert_pipe(_c.curry(a))
return functools.update_wrapper(pipedFn,a)
# forEach method comme en js, pour appliqué a chaque valeur d'une list un traitement
def forEach(a,b):
list(map(a,b))
_ftools_.__class__.forEach=addToPipe(forEach,convert=T)
#call obj if piped obj
callIfPipe=lambda pipe,obj: obj._____func___(pipe) if issubclass(type(obj),Pipe__) else obj
#dict avec des piped obj dans les clé et valeurs
dict_=addToPipe(lambda dico,piped: {callIfPipe(piped,k):callIfPipe(piped,v) for k,v in dico.items()})
# add mutate + studyPipe
pd.DataFrame.mutate_=lambda self,dico:self.mutate(**(callIfPipe(self,dico)))
# permet d'utiliser l'operateur + entre deux Figure plotly et plotly_study
go.Figure.__add__ = lambda self,other: self.add_trace(other.data[0]) if other.__class__ is go.Figure else self
go2.Figure.__add__ = lambda self,other: self.add_trace(other.data[0]) if other.__class__ is go2.Figure else self
# ajoute un second axe à une figure existante, lié à yaxis2
def addSecondAxis(plotyFig):
yaxis_layout_plotlyFig=plotyFig.layout["yaxis"].to_plotly_json().copy()
yaxis_layout_plotlyFig.update(dict(anchor="x",
overlaying="y",
side="right",
gridcolor= '#E1E5ED',
showgrid= True,
tickfont= {'color': '#4D5663'},
title= {'font': {'color': '#4D5663'}, 'text': ''},
zerolinecolor= '#E1E5ED'
))
plotyFig.layout["yaxis2"]= yaxis_layout_plotlyFig
plotyFig.data[0].yaxis="y2"
return plotyFig
addSecondAxis_ = addToPipe(addSecondAxis)
# ajoute un rangeSlider à une figure plotly
def addSlider(plotyFig):
return plotyFig.update_layout(xaxis_rangeslider_visible=True)
addSlider_ = addToPipe(addSlider)
# fonction pour utiliser les methods de plotly express directement dans le pipe |
pex.line_= addToPipe(pex.line)
px.line_= addToPipe(px.line)
pex.bar_= addToPipe(pex.bar)
px.bar_=addToPipe(px.bar)
pex.scatter_=addToPipe(pex.scatter)
px.scatter_=addToPipe(px.scatter)
pex.choropleth_=addToPipe(pex.choropleth)
px.choropleth_=addToPipe(px.choropleth)
showLegend=lambda a:a.update_traces(showlegend=True)
showLegend_=addToPipe(showLegend)
update_layout_=addToPipe(lambda a,*args,**xargs:a.update_layout(*args,**xargs))
# fonction pour ajouter facilement un hoverTemplate
# args= list de variable à ajouter au template
# dico= dico de clé valeur, qui represente une valeur et son label a afficher
def hoverTemplate(*args,dicoFirst=False,**dico):
keysDicoValues=list(dico.keys())
values=range(len(args)) | _ftools_.mapl("customdata[{}]")
if dicoFirst:
keysDicoValues.extend(values)
values=keysDicoValues
else:
values.extend(keysDicoValues)
dicoLabels=list(dico.values())
labels=list(args)
if dicoFirst:
dicoLabels.extend(labels)
labels=dicoLabels
else:
labels.extend(dicoLabels)
hovertemplate=[]
for indice in range(len(values)):
hovertemplate.append(f"<i>{labels[indice]}</i> : %{{{values[indice]}}}")
return "<br>".join(hovertemplate)
hoverTemplate_ = addToPipe(hoverTemplate)
# convert mpl to plotly
def mpl_to_plotly2(fig=None):
from plotly.tools import mpl_to_plotly as mpl_to_plotly_
fig= plt.gcf() if fig is None else fig
return mpl_to_plotly_(fig)
# fonction pour créer deux onglets html depuis deux figure
def tabs(fig1,fig2, fig1Name="Absolue", fig2Name="Log",fig1Plus="",fig2Plus="",maxHeight="250px"):
randomNumber=randomString()
display_html("""
<button id="tab1{random}" class="active-me{random}" onclick="selectTab{random}(1,this);">{fig1Name}</button>
<button id="tab2{random}" onclick="selectTab{random}(2,this);">{fig2Name}</button>
<br/>
<div id="kk{random}">
<div id="tab1Content{random}">
{tab1}
{fig1Plus}
</div>
<div id="tab2Content{random}">
{tab2}
{fig2Plus}
</div>
</div>
<style>
#tab1Content{random} {
position: absolutes;
visibility: visible;
}
#tab2Content{random} {
width: 100%;
margin-top: -450px;
position: relative;
visibility: hidden;
}
#kk{random} {
width:100%;
max-height:{maxH};
overflow:scroll;
}
.active-me{random} {
color: white;
background-color:gray;
}
</style>
<script>
function selectTab{random}(tabIndex,th) {
//Hide All Tabs
document.getElementById('tab1Content{random}').style.visibility="hidden";
document.getElementById('tab2Content{random}').style.visibility="hidden";
document.getElementById('tab1{random}').classList.remove("active-me{random}")
document.getElementById('tab2{random}').classList.remove("active-me{random}")
th.classList.add("active-me{random}")
//Show the Selected Tab
document.getElementById('tab' + tabIndex + 'Content{random}').style.visibility="visible";
}
</script>
""".replace("{tab1}",fig1.to_html(include_plotlyjs="require",auto_play=False))
.replace("{tab2}",fig2.to_html(include_plotlyjs="require",auto_play=False))
.replace("{random}",randomNumber)
.replace("{fig2Name}",fig2Name)
.replace("{fig1Name}",fig1Name)
.replace("{fig1Plus}",fig1Plus)
.replace("{fig2Plus}",fig2Plus)
.replace("{maxH}",maxHeight)
)
# afficher un dashboard dash dans un notebook
def show_app(app, # type: dash.Dash
port=10000,
width=700,
height=350,
offline=True,
style=True,
**dash_flask_kwargs):
"""
Run the application inside a Jupyter notebook and show an iframe with it
:param app:
:param port:
:param width:
:param height:
:param offline:
:return:
"""
url = 'http://0.0.0.0:%d' % port
iframe = '<iframe src="{url}" width={width} height={height}></iframe>'.format(url=url,
width=width,
height=height)
display.display_html(iframe, raw=True)
if offline:
app.css.config.serve_locally = True
app.scripts.config.serve_locally = True
if style:
external_css = ["https://fonts.googleapis.com/css?family=Raleway:400,300,600",
"https://maxcdn.bootstrapcdn.com/font-awesome/4.7.0/css/font-awesome.min.css",
"http://getbootstrap.com/dist/css/bootstrap.min.css", ]
for css in external_css:
app.css.append_css({"external_url": css})
external_js = ["https://code.jquery.com/jquery-3.2.1.min.js",
"https://cdn.rawgit.com/plotly/dash-app-stylesheets/a3401de132a6d0b652ba11548736b1d1e80aa10d/dash-goldman-sachs-report-js.js",
"http://getbootstrap.com/dist/js/bootstrap.min.js"]
for js in external_js:
app.scripts.append_script({"external_url": js})
return app.run_server(debug=False, # needs to be false in Jupyter
port=port,
host="0.0.0.0",
**dash_flask_kwargs)
# fonction pour utiliser ses fonctions directement dans dfply
#log fonction
@make_symbolic
def log_(series):
return np.log(series)
#si 0 -> nan
@make_symbolic
def zeroNan(a):
return a.apply(lambda d: np.nan if d==0 else d)
#rien -> return seulement le param envoyé
@make_symbolic
def rien(s):
return s
# check if the package "pkg" exist in R
def rPackageExist(pkg):
try:
importr(pkg)
except:
return False
return True
# get the package "pkg" if exist if not install it in R
def rInstallIfNotExistPackage(pkg):
utils = importr('utils')
if not rPackageExist(pkg):
print(f"install R package {pkg}...")
utils.install_packages(pkg)
return importr(pkg)
#factoMineR=rInstallIfNotExistPackage("FactoMineR")
#factoextra=rInstallIfNotExistPackage("factoextra")
#usefull functions for EDA
def choroplethEda(df,
locationmode="country names",
locations="Country",
color_continuous_scale=px.colors.sequential.Bluered,
color=__.columns[-1],
tracesXargs={},
**xargs):
if locations not in df.columns:
locations="Country Name"
if locations not in df.columns:
locations="Entity"
return df | px.choropleth_(df,
locationmode=locationmode,
locations=locations,
color_continuous_scale=color_continuous_scale,
color=color,**xargs).update_traces(**tracesXargs)
choroplethEda_=addToPipe(choroplethEda)
#easily create tabs with absolute and log values, or alone plot
def makeTabsEdaOrAlone(df,
logCol=None,
logName=None,
title="",
onlyLog=False,
onlyAbsolute=False,
hover_data=None,
logVarText="Log",
logText=" (log)",
logFun=np.log,
color=__.columns[-1],
tabsXargs={},
**xargs):
if logCol is None:
logCol=callIfPipe(df,color)
if logName is None:
logName=logCol+logVarText
funcEda=lambda df=df,title=title,color=color: df | choroplethEda_(hover_data=hover_data,title=title,color=color,**xargs)
fig1=funcEda()
fig2=funcEda(df.mutate(**{logName:logFun(df[logCol])}),
title+logText,
color=logName)
if onlyLog:
return fig2
if onlyAbsolute:
return fig1
return tabs(fig1,fig2,**tabsXargs)
makeTabsEdaOrAlone_=addToPipe(makeTabsEdaOrAlone)
def graphPopu(popuMondeTranches,
log=False,
both=False):
title="Population par pays"
data_=(popuMondeTranches
.groupby(["pays"]).first().reset_index()
.mutate( popu= X.popu*1000 ))
figA=lambda *args,**xargs:makeTabsEdaOrAlone_(color="popu",
title=title,
locations="pays",
*args,**xargs)
if both:
log=False
if log:
figA=data_ | figA(onlyLog=True)
if both:
figA=data_ | figA()
return figA
graphPopu_=addToPipe(graphPopu)
def graphPopuTranchesAge(popu,
byPopu=False,
both=False,
**xargs):
pop=popu >> df.spread("tranches_age","value") >> df.mutate(popu=X.popu*1000)
title="Population dans le Monde "
tranches=["A","B","C","D","E"]
labelsTranches=["Moins de 15 ans","15-44","45-64","65-74","Plus de 75 ans"]
maskTranches=[False]*len(tranches)
if both:
return tabs(graphPopuTranchesAge(popu,byPopu=False,both=False,**xargs),
graphPopuTranchesAge(popu,byPopu=True,both=False,**xargs),
fig2Name="ByPopu")
if byPopu:
pop=pop >> df.group_by("pays") >> df.mutate(**{i+"ByPopu":X[i]*1000/X.popu*100 for i in tranches
},**{i:X[i]*1000 for i in tranches
})
title+=" (par rapport à leur popu %)"
else:
pop[tranches]=pop[tranches]*1000.
listTranches=_fun_.listl(*[ choroplethEda_(locations="pays",
color=i+"ByPopu",
custom_data=[i],
tracesXargs=dict(hovertemplate="pays=%{location}<br>"+i+'ByPopu=%{z}%<br>popu=%{customdata[0]:s}')) if byPopu else choroplethEda_(locations="pays",
color=i)
for i in tranches ])
reduceAdd = _ftools_.reduce(go.Figure.__add__)
def setTrue_(i):
def setTrue__(df):
f=list(df)
f[i]=True
return f
return addToPipe(setTrue__)
fig=(pop |
listTranches |
reduceAdd
.update_traces(visible=False))
_=fig.data[0].update(visible=True)
buttons_=[dict(label=label,
method="update",
args=[{"visible": maskTranches | setTrue_(i)},
{"title": title+" "+label}]) for i,label in enumerate(labelsTranches) ]
return fig.update_layout(
title=title+" : Moins de 15 ans",
updatemenus=[
dict(
active=0,
buttons=buttons_,
)
])
graphPopuTranchesAge_=addToPipe(graphPopuTranchesAge)
def getCountryFromData(country):
global covidEdaTrainX
return (covidEdaTrainX >>
df.filter_by(X.Country_Region == country) |__
.groupby(["Country_Region","Date"]).agg(dict(Deaths=sum,Confirmed=sum)) |__
[slice(country, country)] |__
.reset_index() |__
.drop(["Country_Region"],axis=1))
def getCountryAndDtFromData(country):
vv=getCountryFromData(country)
return vv >> df.mutate(d_Deaths_dt=np.gradient(vv.Deaths)) >> df.mutate(d_Deaths_dt=X.d_Deaths_dt.interpolate())
def getCountryAndDtsFromData(country):
vv=getCountryFromData(country)
return vv >> df.mutate(d_Deaths_dt=np.gradient(vv.Deaths),
deces_jour=(X.Deaths - X.Deaths.shift())) >> df.mutate(d_Deaths_dt=X.d_Deaths_dt.interpolate().fillna(0),
deces_pct_change=(X.Deaths).pct_change().fillna(0),
deces_pct_change_shift=(X.deces_jour).pct_change().fillna(0))
def graphDeathBy(pays, nbDays=1, log=False):
nbI=nbDays
le="d"
title=pays
argsO = {} if not log else dict(yaxis_type="log")
if log:
title+=" (log)"
data1=(
(getCountryAndDtsFromData(pays) >> df.mutate(nb=1) |__
.groupByDate("Date",nbDays, label='right', closed='right').agg({
"Deaths":max,
"nb":sum,
"deces_jour":sum,
"deces_pct_change":np.mean})).reset_index() >>
df.mutate(Deaths_shift=(X.deces_jour*nbI/X.nb).replace({float("inf"):np.nan}).interpolate().fillna(0))>>
df.mutate(deces_pct_change_shift2=X.Deaths_shift.pct_change().replace({float("inf"):np.nan}).interpolate().fillna(0),
Date_Deb=X.Date.apply(lambda b:moment(b.timestamp()).subtract(day=nbI).date.strftime("%b %d, %Y")) ) >>
df.select("Date","Date_Deb",df.contains("Deaths"),df.contains("deces"),"nb")
)
return (
data1 |__fun__
.listl(
px.line_(__,
x="Date",
y="deces_pct_change_shift2",
color_discrete_sequence=["red"]).update_traces(name=f"Variation du Deces/{nbI}j",mode="markers+lines"),
px.scatter_(__,
x="Date",
y="Deaths",
color_discrete_sequence=["pink"]).update_traces(name=f"Décès Cumul"),
px.bar_(__,
x="Date",
y="deces_jour",
text="deces_jour",
custom_data=["Date_Deb","Deaths","nb"]
).update_traces(name=f"Deces/{nbI}j",
offset=-nbI*24*60*60*1000,
width=nbI*24*60*60*1000,
hovertemplate=hoverTemplate("Date Début ",
"Décès Cumulés ",
"Nombre de jours ",
x="x [Date] ",
y=f"y [Décès/{nbI}j]",dicoFirst=True))
) |_ftools_
.reduce(lambda a,b:a+b) |
addSecondAxis_ |
addSlider_ |
showLegend_ |__.
update_layout(title=title,
yaxis=dict(title=f"Nombre de décès/{nbI}j",
titlefont=dict(
color="blue"
),
tickfont=dict(
color="blue"
)),
yaxis2=dict(title=f"Variation du Nombre de décès/{nbI}j",
titlefont=dict(
color="red"
),
tickfont=dict(
color="red"
)),**argsO)
)
graphDeathBy_=addToPipe(graphDeathBy)
def searchPays( pays,ddz):
return ( ddz | _ftools_
.mapl(lambda a:pays in a) |_fun_
.np.argwhere(__) | _ftools_
.mapl(lambda a: a[0] if len(a)>0 else []) | _ftools_
.mapl(lambda a:[a,ddz[a]])) | addToPipe(lambda a:None if len(a)==0 else a[0])
def searchPaysNotJoined(feg, ddz):
return ( np.argwhere(
feg
.map(lambda a: np.where(ddz==a.lower())[0].shape[0]>0 ).values == False
).reshape(-1) |_ftools_
.mapl(lambda a:feg[a])
) | _ftools_.mapl(lambda a:[a,searchPays(a.lower(),ddz)])
def joinCovidDeathsAndPopu(covidEdaTrainX, popuMondeTranches):
fzf=(
covidEdaTrainX.groupby(["Country_Region","Date"]).sum().reset_index("Date")
).join(popuMondeTranches.set_index("pays"))
ddz=popuMondeTranches.pays.str.lower().values
feg=covidEdaTrainX.Country_Region.value_counts().index
dg=searchPaysNotJoined(feg,ddz)
#print(dg)
vr=popuMondeTranches.set_index("pays")
#return fzf,dg
for i,j in dg:
if j is not None:
#print(j[0])
fzf.loc[i,"popu"]=popuMondeTranches.iloc[j[0],:].loc["popu"]
fzf.loc["US","popu"]=popuMondeTranches.set_index("pays").loc["United States of America","popu"].iloc[0]
return fzf.reset_index().rename(columns={"index":"Country_Region"})
def graphDeaths(covidEdaTrainX,groupByDate=None,debut=moment(2010,2,25).date,log=False,both=False,noNan=False,
cummulative=False):
XXF=covidEdaTrainX.groupby(["Country_Region","Date"]).aggKV(Deaths=sum).reset_index()
if both:
log=False
fnLog=rien if not log else log_
fnNan=rien if noNan else zeroNan
title="Nombre de décès par pays"
if log:
title+=' (log)'
if groupByDate is not None:
XXF=(
((covidEdaTrainX | __
.groupby(["Country_Region","Date"]).aggKV(Deaths=sum).reset_index("Date")) >>
df.group_by("Country_Region") >> df.mutate(Deaths=(X.Deaths - X.Deaths.shift()).fillna(0).mini(0))) | addToPipe(
lambda a: a.groupby('Country_Region').groups.items() % _ftools_
.mapl(lambda i: a.loc[i[0]].reset_index().groupByDate("Date",label="right",nbI=groupByDate).aggKV(Deaths=sum).reset_index() | __
.set_axis( [i[0]]*__.shape[0],inplace=F) )) |_fun_.
pd.concat
)
XXF=XXF.reset_index().rename(columns={"index":"Country_Region"})
if cummulative:
XXF=XXF >>df.group_by(X.Country_Region) >> df.mutate(Deaths=df.cumsum(X.Deaths))
title+= " (cummul)"
title=title+f" (par {groupByDate} jours)"
figA=((XXF >>
df.mutate(Date_D=X.Date.dt.strftime("%d-%m-%y"),
Deaths=fnNan(X.Deaths)) >>
df.mutate(Deaths=fnLog(X.Deaths))>>
df.filter_by( X.Date > debut )
)|_fun_.
px.choropleth(__,
animation_frame="Date_D",
locations="Country_Region",
color_continuous_scale=px.colors.sequential.Bluered,
locationmode="country names",
color="Deaths") |__
.update_layout(title=title))
if both:
fnLog=log_
title+=" (log)"
fig2=((XXF >>
df.mutate(Date_D=X.Date.dt.strftime("%d-%m-%y"),
Deaths=fnNan(X.Deaths)) >>
df.mutate(Deaths=fnLog(X.Deaths))>>
df.filter_by( X.Date > debut )
)|_fun_.
px.choropleth(__,
animation_frame="Date_D",
locations="Country_Region",
color_continuous_scale=px.colors.sequential.Bluered,
locationmode="country names",
color="Deaths") |__
.update_layout(title=title))
figA=tabs(figA,fig2)
return figA
def graphDeathsByPopu(covidEdaTrainX, popuMondeTranches,groupByDate=None, log=False, both=False, animation=False, date="last",
debut=moment(2010,2,25).date,cummulative=False,**args):
gj=joinCovidDeathsAndPopu(covidEdaTrainX, popuMondeTranches)
title="Nombre de décès par pays par rapport à leurs populations"
opts={}
fnDateD= lambda X:X.dt.strftime("%d-%m-%y")
if groupByDate:
animation=True
if not animation:
if date=="last":
gj=gj.groupby(["Country_Region","tranches_age"]).last().reset_index()
title+=" (lastDay)"
else:
gj = (gj >> df.filter_by(X.Date >= date)) | __.groupby(["Country_Region","tranches_age"]).first().reset_index()
title+=f" (~{date.strftime('%d-%m-%y')})"
else:
opts["animation_frame"]="Date_D"
title+=" (byDate)"
#fnDateD= lambda X:X.dt.strftime("%d-%m-%y")
if both:
log=False
fnLog=log_ if log else rien
if log:
title+=" (log)"
if groupByDate is not None:
#return gj
gj=(
((gj | __
.groupby(["Country_Region","Date"]).aggKV(Deaths=sum,popu=np.max).reset_index("Date")) >>
df.group_by("Country_Region") >> df.mutate(Deaths=(X.Deaths - X.Deaths.shift()).fillna(0).mini(0))) | addToPipe(
lambda a: a.groupby('Country_Region').groups.items() % _ftools_
.mapl(lambda i: a.loc[i[0]].reset_index().groupByDate("Date",label="right",nbI=groupByDate).aggKV(Deaths=sum,popu=np.max).reset_index() | __
.set_axis( [i[0]]*__.shape[0],inplace=F) )) |_fun_.
pd.concat
)
gj=gj.reset_index().rename(columns={"index":"Country_Region"})
if cummulative:
gj=gj >> df.group_by(X.Country_Region) >> df.mutate(Deaths=df.cumsum(X.Deaths))
title+= " (cummul)"
title=title+f" (par {groupByDate} jours)"
gj=gj>>df.mutate(Deaths=make_symbolic(lambda a:a.transform(lambda b:np.max([b,0])))(X.Deaths))
#return gj
figA= ((
gj.reset_index() >>
df.filter_by( X.Date > debut ) >>
df.mutate(Deaths_by_popu=X.Deaths/(X.popu*1000)*100.0,Date_D=fnDateD(X.Date)) >>
df.mutate(Deaths_by_popu=fnLog(X.Deaths_by_popu)) >>
df.mutate(**{"Deaths_by_popu (%)":make_symbolic(lambda a:np.round(a,4))(X.Deaths_by_popu)})) |
px.choropleth_(__,
locations="Country_Region",
hover_data=["Date_D","Deaths","popu","Deaths_by_popu (%)"],
locationmode="country names",
color_continuous_scale=px.colors.sequential.Bluered,
color="Deaths_by_popu",**opts) |__
.update_layout(title=title))
if both:
fnLog=log_
title+=" (log)"
fig2= ((
gj.reset_index() >>
df.filter_by( X.Date > debut ) >>
df.mutate(Deaths_by_popu=X.Deaths/(X.popu*1000)*100.0,Date_D=fnDateD(X.Date)) >>
df.mutate(Deaths_by_popu=fnLog(X.Deaths_by_popu))) |
px.choropleth_(__,
locations="Country_Region",
hover_data=["Date_D","Deaths","popu"],
**opts,
locationmode="country names",
color_continuous_scale=px.colors.sequential.Bluered,
color="Deaths_by_popu") |__
.update_layout(title=title))
figA=tabs(figA,fig2)
return figA
# prep custom function
def as_int2(self,li):
li = li if isinstance(li,collections.abc.Iterable) and not isinstance(li,str) else [li]
self._data[li]=self._data[li].apply(lambda a:unNamesEscape(a.values),axis=0)
self._data[li]=self._data[li].astype("int")
return self
Regroupe les données pour un projet
Covidproj = StudyProject.getOrCreate("covid")
on liste les données disponible dans le projet
list(Covidproj.data.keys())
on check pour voir s'il y a des maj de données nécessaires
#covid
okData=getData(silent=True)
okDataTests=T
#demography
okDataPopu=T#getDataPopu(silent=True)
okDataUrba=T
okDataMedianAge=T
okDataPopuDensity=T
#Health
okDataLife=T#getDataLife(silent=True)
okDataBeds=T
okDataDoctors=T
okDataTauxDeces=T
#Political
okDataPoliticalRegime=T
#Covid
if "covidTemporalAllCountry" in Covidproj.data and okData:
print("covidTemporalAllCountry déjà dans le projet")
else:
print("/!\ covidTemporalAllCountry pas exporté")
if "tests" in Covidproj.data and okDataTests:
print("tests déja dans le projet")
testsWorld=Covidproj.data["tests"].dataTrain.X
else:
print("/!\ tests pas exporté")
# if "covidDataFr" in Covidproj.data and okDataFr:
# print("covidDataFr déjà dans le projet")
# else:
# print("/!\ covidDataFr pas exporté")
#demography
if "popuMondeTranches" in Covidproj.data and okDataPopu:
print("popuMondeTranches déjà dans le projet")
popuMondeTranches=Covidproj.data["popuMondeTranches"].dataTrain.X
else:
print("/!\ popuMondeTranches pas exporté")
if "urba" in Covidproj.data and okDataUrba:
print("urba déja dans le projet")
tauxUrbaWold=Covidproj.data["urba"].dataTrain.X
else:
print("/!\ urba pas exporté")
if "medianAge" in Covidproj.data and okDataMedianAge:
print("medianAge déja dans le projet")
medianAgeWorld=Covidproj.data["medianAge"].dataTrain.X
else:
print("/!\ medianAge pas exporté")
if "popuDensity" in Covidproj.data and okDataPopuDensity:
print("popuDensity déja dans le projet")
popuDensityWorld=Covidproj.data["popuDensity"].dataTrain.X
else:
print("/!\ popuDensity pas exporté")
#Health
if "lifeExpectancy" in Covidproj.data and okDataLife:
print("lifeExpectancy déja dans le projet")
lifeExp=Covidproj.data["lifeExpectancy"].dataTrain.X
else:
print("/!\ lifeExpectancy pas exporté")
if "beds" in Covidproj.data and okDataBeds:
print("beds déja dans le projet")
beds=Covidproj.data["beds"].dataTrain.X
else:
print("/!\ beds pas exporté")
if "doctors" in Covidproj.data and okDataDoctors:
print("doctors déja dans le projet")
doctors=Covidproj.data["doctors"].dataTrain.X
else:
print("/!\ doctors pas exporté")
if "tauxDeces" in Covidproj.data and okDataTauxDeces:
print("tauxDeces déja dans le projet")
tauxDecesWorld=Covidproj.data["tauxDeces"].dataTrain.X
else:
print("/!\ tauxDeces pas exporté")
#Political
if "politicalRegime" in Covidproj.data and okDataPoliticalRegime:
print("politicalRegime déja dans le projet")
politicalRegimeWorld=Covidproj.data["politicalRegime"].dataTrain.X
else:
print("/!\ politicalRegime pas exporté")
#covid
if "covidTemporalAllCountry" not in Covidproj.data or not okData:
print("covidTemporalAllCountry not in project")
covidData = getData(T) # on récupere les données
covidData.Date = pd.to_datetime(covidData.Date)
covidData["Country_Region"]=covidData["Country_Region"].astype("category")
covidData["Province_State"]=covidData["Province_State"].astype("category")
Covidproj.saveDatasWithId("covidTemporalAllCountry",covidData,pd.Series(name="__fake__"),
pd.DataFrame(),pd.Series(name="__fake2__")) # on ajoute les données dans le projet
Covidproj.export()
print("ok")
# if "covidDataFr" not in Covidproj.data or not okDataFr:
# print("covidDataFr not in project")
# covidData = getDataFr()
# covidData.date = pd.to_datetime(covidData.date)
# Covidproj.saveDatasWithId("covidDataFr",covidData,pd.Series(name="__fake__"),
# pd.DataFrame(),pd.Series(name="__fake2__"))
# Covidproj.export()
# print("ok")
if "tests" not in Covidproj.data or not okDataTests:
print("tests not in project")
testsWorld = getDateTests()
Covidproj.saveDatasWithId("tests",testsWorld,pd.Series(name="__fake__"),
pd.DataFrame(),pd.Series(name="__fake2__"))
Covidproj.export()
print("ok")
#demography
if "popuMondeTranches" not in Covidproj.data or not okDataPopu:
print("popuMondeTranches not in project")
popuMondeTranches=getDataPopu()
Covidproj.saveDatasWithId("popuMondeTranches",popuMondeTranches,pd.Series(name="__fake__"),
pd.DataFrame(),pd.Series(name="__fake2__"))
Covidproj.export()
print("ok")
if "urba" not in Covidproj.data or not okDataUrba:
print("urba not in project")
tauxUrbaWold = getDataUrba()
Covidproj.saveDatasWithId("urba",tauxUrbaWold,pd.Series(name="__fake__"),
pd.DataFrame(),pd.Series(name="__fake2__"))
Covidproj.export()
print("ok")
if "medianAge" not in Covidproj.data or not okDataMedianAge:
print("medianAge not in project")
medianAgeWorld = getDataMedianAge()
Covidproj.saveDatasWithId("medianAge",medianAgeWorld,pd.Series(name="__fake__"),
pd.DataFrame(),pd.Series(name="__fake2__"))
Covidproj.export()
print("ok")
if "popuDensity" not in Covidproj.data or not okDataPopuDensity:
print("popuDensity not in project")
popuDensityWorld = getDataPopuDensity()
Covidproj.saveDatasWithId("popuDensity",popuDensityWorld,pd.Series(name="__fake__"),
pd.DataFrame(),pd.Series(name="__fake2__"))
Covidproj.export()
print("ok")
#Health
if "lifeExpectancy" not in Covidproj.data or not okDataLife:
print("lifeExpectancy not in project")
lifeExp = getDataLife()
Covidproj.saveDatasWithId("lifeExpectancy",lifeExp,pd.Series(name="__fake__"),
pd.DataFrame(),pd.Series(name="__fake2__"))
Covidproj.export()
print("ok")
if "beds" not in Covidproj.data or not okDataBeds:
print("beds not in project")
beds = getDataBeds()
Covidproj.saveDatasWithId("beds",beds,pd.Series(name="__fake__"),
pd.DataFrame(),pd.Series(name="__fake2__"))
Covidproj.export()
print("ok")
if "doctors" not in Covidproj.data or not okDataDoctors:
print("doctors not in project")
doctors = getDataDoctors()
Covidproj.saveDatasWithId("doctors",doctors,pd.Series(name="__fake__"),
pd.DataFrame(),pd.Series(name="__fake2__"))
Covidproj.export()
print("ok")
if "tauxDeces" not in Covidproj.data or not okDataTauxDeces:
print("tauxDeces not in project")
tauxDecesWorld = pd.read_csv("data/DeathsRateWorld.csv")
Covidproj.saveDatasWithId("tauxDeces",tauxDecesWorld,pd.Series(name="__fake__"),
pd.DataFrame(),pd.Series(name="__fake2__"))
Covidproj.export()
print("ok")
#Political
if "politicalRegime" not in Covidproj.data or not okDataPoliticalRegime:
print("politicalRegime not in project")
politicalRegimeWorld = getDataPoliticalRegime()
Covidproj.saveDatasWithId("politicalRegime",politicalRegimeWorld,pd.Series(name="__fake__"),
pd.DataFrame(),pd.Series(name="__fake2__"))
Covidproj.export()
print("ok")
covidEda.datas
covidEda.train_datas._edaOpts=dict(progress_bar=False,
html={'style':{'full_width':True}})
covidEda.train_datas.eda
covidEda.train_datas.eda.overview
covidEda.train_datas.eda.variables
covidEda.train_datas.eda.correlations
covidEda.train_datas.eda.missing
covidEda.train_datas.eda.sample
covidEda.datas.prep.addCustomFunction(as_int2)
covidEda.datas.eda.hints
(covidEda.train_datas.viz.plot("Confirmed")
| __.update_layout(xaxis=dict(range=[0,1*1000])))
with covidEda.datas.getTmp() as datas_:
datas_.dataTrain.prep.data["ObservationDate2"]=datas_.dataTrain.ObservationDate.dt.strftime("%d %B %Y")
pex.line(datas_.dataTrain >> df.arrange(df.desc(X["Deaths"])) >> df.row_slice(rangel(100)), hover_data=["ObservationDate2"],
x="ObservationDate",
y="Deaths",
color="Country/Region",
log_y=True
)
covidEda.train_datas.prep.data.ObservationDate
On crée une study (étude) pour chaque jeu de données que l'on va utilisé (une étude -> un jeu de données)
covidEda=Covidproj.addOrGetStudy("covidEda")
if covidEda.datas is None or not okData:#or T:
print("set covidTemporalAllCountry to Study")
covidEda.setDataTrainTest(id_="covidTemporalAllCountry")
Covidproj.export()
covidEda
# covidEdaFr=Covidproj.addOrGetStudy("covidEdaFr")
# if covidEdaFr.datas is None or not okDataFr:#or T:
# print("set covidDataFr to Study")
# covidEdaFr.setDataTrainTest(id_="covidDataFr")
# Covidproj.export()
# covidEdaFr
okData=getData(silent=True)
okDataFr=T
display_html("""
<script>
alert('Initialisation Effectuée')
</script>
""")
clear_output()
on crée ses variables pour faciliter les choses
On veut ici avoir un vue d'ensemble (mondiale) sur le Covid-19.
On va pour commencer étudier la démographie de chaque pays.
On remarque que la chine et l'inde on le plus d'habitants.
Ensuite États Unis, Brésil, Nigéria ...
On va maintenant regarder les différences par classes d'âges
Globalement il y a en a le plus de chaque tranche en inde, chine, puis pakinstan, usa
-15 ans il y a aussi nigeria
+15 ans les usa aussi
Pour les moins de 15 ans:
bcp: Il y a en a bcp en afrique en proportion (peut etre une explication par rapport au covid-19 en Afrique)
moyen: magreb, l'afrique du sud, argentine, mexique, inde, kazashstan
faible: USa, canada, europe, australie, chine
Pour les 15-44 ans:
bcp: Oman, United Arab Emirates
moyen: Afrique, amérique latine, inde
faible: USa, canada, europe, australie, chine
Pour les 45-64 ans:
bcp: Europe, Chine, USA, australie
moyen: amerique latine, inde
faible: USa, canada, europe, australie, chine
The scale goes from -10 (full autocracy) to 10 (full democracy).
Anocracies are those scoring between -5 and 5.
les pays autocratique: Arabie Saudite, Chine, Kazakhstan, Iran, Syrie, Corée du Nord, Vietnam, Laos, Oman, Cuba
Les pays anocratiques fermé: qq pays d'afrique (magreb sauf tunisie), Thailand, Afganistan
Les pays anocratiques ouverts: qq pays d'afrique, tunisie,Venezuela, Russie, Yemen
les pays democratiques: europe, qq pays d'afrique (Ghana, Kenya, Zambie, Afrique du sud ), Amerique, inde, Australie, Japon, Corée du sud, indonesie, malaisie
Europe, Amerique, chine, japon, australie -> Elévé
Afrique (sauf magreb), Afganistan -> moyen bas
J'ai le nombre de mort par ans -> par mois
A mettre en oposition avec le nb de mort du coronavirus
Bcp: Cuba, Uruguay, Greece, portugal, géorgie, belarus Moyen: Australie, Argentine, Russie, FR, Espagne, Italie, allemagne, suede, finland moyen -bas: pologne, UK, USA, Canada,Mexique, Bresil, Saudi, Mongolie, Kzakhtan, japan bas: afrique, inde, chine, iran, irak, turquie, afganistan
On remarque le japon, les corées, la rusie, belarusie, allemagne, Ukraine Haut
On remarque Fr, argentine, Bulgarie,Pologne, moyen
On remarque afrique, asie (chine, inde,australie), Amerique assez bas
acute_beds
Les lits de soins curatifs (soins actifs|soins aigus) dans les hôpitaux (HP.1) sont des lits d'hôpitaux disponibles pour les soins curatifs
Les lits de soins curatifs permettent d’accueillir despatients lorsque l’intention principale est de réaliser uneou plusieurs des tâches suivantes : soigner des maladiesou traiter des blessures, effectuer des actes chirurgicaux,soulager les symptômes de blessures ou de maladies (àl’exclusion des soins palliatifs), réduire la gravité deblessures ou de maladies, éviter l’aggravation deblessures ou de maladies ainsi que les complications deblessures ou de maladies qui pourraient menacer la vieou les fonctions normales, effectuer des actes dediagnostic ou thérapeutiques, aider les femmes quiaccouchent (obstétrique). Dans certains pays, ces litscomprennent tous les lits de soins psychiatriques(curatifs ou non).
On remarque allemagne, bulgarie, autriche, japon, corée du sud +
On rmrq inde, iran, UK, Usa -
rmrq USA, kazakthan arabi saoudite, allemagne,roumanie, taiwan +
rmrq canada, fr, it, espagne, japon, corée du sud +/-
rmrq chine, inde, iran, -
Prop immunodeprimé ?
Alphabetisation ?
Les cas contaminés annoncés par chaque pays, ne représente seulement que les cas testés.
Il y a bcp de cas asymptomatique donc pas testé.
Bcp de tests: Island, UAE norvege, canada, australie, Corée du sud
Peu de tests: France, Pologne, Iran,USA
Très peu de tests: mexique, index, bresil, ukraine
Comme en France ou en italie on ne tests que les cas sévères (dû à une incapacité pour l'instant de faire des tests généralisés), le pourcentage de cas positifs est élevé.
On voit qu'en Corée du Sud il y a donc moins de cas +, car des tests plus massifs, comme en allemagne.
On verra par la suite les stratégies possibles pour arrêter une épidemie.
suite -> confirmed by popu, by log , temporel, groupbyDate
On peux remarqué qu'il n'y a preque pas de mort en afrique et kazakstan, russie (pays autoritaire)
covidEdaFrTrain = covidEdaFr.train_datas
covidEdaFrTrainX = covidEdaFrTrain.X
covidEdaFrData = covidEdaFr.datas
densité d'hab par region, dep ?
polution ?
temperature ?
delinquance ?
nombre de journées-lits exploitables: Nbr de places x Nbr de jours ouverts dans l'année(ex : 60 places x 365 jours = 21 900 journées théoriques)
Taux d'occupation : nombre de journées réalisée sur le nombre de journées théoriques (nombre de journées-lits exploitables) (capacité x nombre de jours d’ouverture annuel)
demain -> sae -> get "nombre de journées-lits exploitables" et "Nombre Journée")